Vào năm 1934, việc thiết kế Panzer III và Panzer IV bị trì hoãn do các vấn đề thiết kế. Việc chế tạo một loại tăng có tốc độ di chuyển nhanh, vũ khí trung bình, trọng lượng được xếp vào hạng nhẹ được giao cho các nhà máy như Krupp, MAN, Henschel và Daimler-Benz. Bản thiết kế cuối cùng được đưa ra đó chính là Panzer-II, được dựa trên Panzer-I nhưng vũ khí là một khẩu pháo chống tăng 20 mm. Việc sản xuất bắt đầu vào năm 1935, nhưng quy trình tốn thêm 18 tháng để chuẩn bị cho quá trình vận chuyển và chế tạo nguyên liệu.

Panzer II là loại tăng chiếm số lượng nhiều nhất trong cuộc xâm lược nước Pháp, cho đến khi nó bị thay thế bởi Panzer III vào năm 1940/1941. Về sau, nó được dùng làm xe tăng do thám và thực hiện nhiệm vụ này rất xuất sắc.

Panzer II được quân đội Đức Quốc xã sử dụng ở mọi chiến dịch như Ba Lan, Pháp, Tây Ban Nha, Đan Mạch, Na Uy, Bắc Phi và mặt trận phía Đông. Sau khi bị thay thế ở vị trí xe tăng chủ lực, nó được dùng làm xe tăng bảo vệ lãnh thổ, trong nước và luyện tập. Phần khung tăng được dùng làm sườn cho các loại pháo tự hành như Wespe và Marder II.